From SRA to Self-Flow: Data Augmentation or Self-Supervision?
从SRA到Self-Flow：数据增强还是自监督？
🧭 扩散模型训练中数据增强机制解析
The Hong Kong University of Science and Technology · Zhejiang University of Technology · Baidu Inc.
证明Self-Flow的改进主要来自双重时间步的数据增强，而非跨噪声token的自监督交互
📌 工作参考价值（4 点）
- 扩散模型训练加速：在推荐系统（如生成式推荐、用户行为序列生成）中训练扩散Transformer时，可直接采用Attention Separation作为一种简单有效的训练技巧，通过阻断不同噪声步token间的注意力，将一个样本拆成多个有效训练部分，扩大数据规模，加快收敛。
- 省去外部编码器依赖：该方法基于自表示对齐，无需额外的预训练编码器（如DINOv2），适合电商场景下多模态数据快速迭代，降低推理成本。
- 训练鲁棒性提升：实验表明，去除噪声间交互甚至优于允许交互，说明在搜索/推荐场景中，对不同噪声水平的序列片段独立建模可能更利于学习干净表示，可尝试在用户长期行为建模中引入类似分片增强。
- 可与现有框架嫁接：Attention Separation不改变模型结构，仅修改注意力掩码，可即插即用于各种DiT基推荐模型（如DreamRec），低风险提升训练效率。